18.065 Lecture 1

距离上次更新已经 1499 天了，文章内容可能已经过时。

课程主页：https://ocw.mit.edu/courses/mathematics/18-065-matrix-methods-in-data-analysis-signal-processing-and-machine-learning-spring-2018/index.htm

之前在Gilbert Strang教授的主页上注意到新课Matrix Methods in Data Analysis, Signal Processing, and Machine Learning，上周终于上线了，最近计划暑假前把这门课刷完，记录一些笔记和习题解析。

这一讲的主题是The Column Space of $A$ Contains All Vectors $Ax$。

例1

首先回顾$Ax$的解释，其中$A$是矩阵，$x$是向量，考虑如下例子：

$$Ax=\left[\begin{array}{ccc}2& 1& 3\\ 3& 1& 4\\ 5& 7& 12\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right]$$

一种理解为内积的理解，即

$$Ax=\left[\begin{array}{c}2x_1+x_2+3x_3\\ 3x_1+x_2+4x_3\\ 5x_1+7x_2+12x_3\end{array}\right]$$

另一种理解为列向量的线性组合，即

$$Ax=x_1\left[\begin{array}{c}2\\ 3\\ 5\end{array}\right]+x_2\left[\begin{array}{c}1\\ 1\\ 7\end{array}\right]+x_3\left[\begin{array}{c}3\\ 4\\ 12\end{array}\right]$$

注意$A$的秩为$2$，所以$Ax$表示平面。

对于一般的情形，我们有

$$Ax=A\mathrm{的}\mathrm{列}\mathrm{空}\mathrm{间}\triangleq \mathcal{C}(A)$$

例2

再来看一个例子：

$$A=\left[\begin{array}{ccc}1& 3& 8\\ 1& 3& 8\\ 1& 3& 8\end{array}\right]=\left[\begin{array}{c}1\\ 1\\ 1\end{array}\right]\left[\begin{array}{ccc}1& 3& 8\end{array}\right]=u{v}^T$$

显然

$$\text{rank}(A)=1=\mathrm{\#}\mathrm{线}\mathrm{性}\mathrm{无}\mathrm{关}\mathrm{的}\mathrm{列}\mathrm{的}\mathrm{数}\mathrm{量}$$

所以

$$\mathcal{C}(A)=\mathrm{直}\mathrm{线}$$

例3

考虑如下例子：

$$\begin{array}{rl}A& =\left[\begin{array}{ccc}2& 1& 3\\ 3& 1& 4\\ 5& 2& 7\end{array}\right]\\ & =\left[\begin{array}{cc}2& 1\\ 3& 1\\ 5& 2\end{array}\right]\left[\begin{array}{ccc}1& 0& 1\\ 0& 1& 1\end{array}\right]\\ & \triangleq CR\end{array}$$

其中$C$的含义为column，由为$C$的列的基向量；$R$的含义是row，表示基向量组对应的系数，特别的，我们有

$$\left[\begin{array}{cc}2& 1\\ 3& 1\\ 5& 2\end{array}\right]\left[\begin{array}{c}1\\ 0\end{array}\right]=\left[\begin{array}{c}2\\ 3\\ 5\end{array}\right]=a_1$$

实际上$R$也为$A$的行的基向量，所以该分解说明了$A$的行秩等于列秩。

对$AB$的理解

假设$A\in {\mathbb{R}}^{m\times n},B\in {\mathbb{R}}^{n\times p}$，对于矩阵乘法$AB$，有两种理解，第一种理解为$A$的行向量和$B$的列向量做内积：

$$AB=\left[\begin{array}{c}{\tilde{a}}_1^T\\ ⋮\\ {\tilde{a}}_m^T\end{array}\right]\left[\begin{array}{cccc}{b}_1& b_2& \cdots & b_p\end{array}\right]=[{\tilde{a}}_i^T{b}_j{]}_{m\times p}$$

这种方式的计算量为

$$n\times m\times p=mnp$$

另一种理解为$A$的列向量和$B$的行向量相乘：

$$AB=\left[\begin{array}{cccc}{a}_1& a_2& \cdots & a_n\end{array}\right]\left[\begin{array}{c}{\tilde{b}}_1^T\\ ⋮\\ {\tilde{b}}_n^T\end{array}\right]=\sum _{i=1}^n{a}_i{\tilde{b}}_i^T$$

这种方式的计算量为

$$n\times mp=mnp$$

可以看到这两种方式的计算量相同。

习题

1

考虑如下例子

$$a_1=\left[\begin{array}{c}1\\ 0\\ 0\\ 0\end{array}\right],a_2=\left[\begin{array}{c}0\\ 1\\ 0\\ 0\end{array}\right],a_3=\left[\begin{array}{c}1\\ 1\\ 0\\ 0\end{array}\right]$$

那么

$$a_1+a_2-a_3=0$$

向量形式为

$$A=\left[\begin{array}{ccc}{a}_1& a_2& a_3\end{array}\right],x=\left[\begin{array}{c}1\\ 1\\ -1\end{array}\right],Ax=0$$

其中

$$A\in {\mathbb{R}}^{4\times 3},x\in {\mathbb{R}}^3,0\in {\mathbb{R}}^4$$

4

不难看出可以取

$$x=\left[\begin{array}{c}1\\ 0\\ -1\end{array}\right],y=\left[\begin{array}{c}0\\ 1\\ -1\end{array}\right]$$

其中

$$Ax=\left[\begin{array}{c}1\\ 1\\ 1\end{array}\right]-\left[\begin{array}{c}1\\ 1\\ 1\end{array}\right]=\left[\begin{array}{c}0\\ 0\\ 0\end{array}\right]$$

注意到

$$\text{rank}(A)=1$$

所以$Ax=0$只有两个线性无关的解，因此老师没有让我们找第三个线性无关的向量$z$，使得$Az=0$。

9

设矩阵为$A$，因为$A$的列空间是${\mathbb{R}}^3$，所以$m=3$，并且

$$r=\text{rank}(A)=3$$

所以显然有

$$n\ge 3$$

18

由$A=CR$可得$\left[\begin{array}{ll}0& A\\ 0& A\end{array}\right]$对应的$C^{\prime }=\left[\begin{array}{c}C\\ C\end{array}\right]$，所以

$$\left[\begin{array}{ll}0& A\\ 0& A\end{array}\right]=\left[\begin{array}{c}C\\ C\end{array}\right]\left[\begin{array}{cc}0& R\end{array}\right]$$